Het kasteel Bivort werd in de 13de eeuw opgetrokken in opdracht van Nicolaas III van Fontaines, bisschop van Kamerijk. Na zijn dood werd het geërfd door zijn zuster, de vrouw van Baudouin de Hennin-Liétard. Later kwam het in handen van beroemde families als de Hamals, Herzelles en Rodoans.
Het kasteel, dat verwoest werd door tal van branden en oorlogen, werd in de 17de en 18de eeuw compleet gerestaureerd en kreeg het een meer verfijnd interieur. In de 19de eeuw volgde een nieuwe renovatie door de familie Bivort de la Saudée. Ze deden hiervoor een beroep op architect Auguste Cador. Vervolgens werd het een klooster en kostschool.
In de Eerste Wereldoorlog werd het bezet door Duitsers. Na de Tweede Wereldoorlog, kocht de gemeente het gebouw aan. Het Mijn- en Nagelmuseum werden onder gebracht in de onderaardse gangen van het kasteel dat momenteel de gemeentelijke diensten huisvest.